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0 Verfahren zur Blldauswertung. 

@ Die Erfindung betrifft ein Verfahren zur Bildauswertung von Bildern einer Videokamera oder eines Fernseh- 
bildes mittels einer Auswerteeinrichtung durch Analyse der Richtungen von Grauwertgradienten, wobei gespei- 
cherte Biidmuster, 2.B. Textilmuster oder Fahrzeuge. in dem auszuwertenden Bild ermittelt werden, wobei die 
Grauwertgradienten des Bildes normiert werden. das Histogramm der Gradientenrlchtungen gebildet wird, indem 
die Haufigkeit der Gradientenwinketwerte in Prozent gegen den Winkelwert, z.B. in einer Tabelle, festgelegt 
werden. die Kreuzkorrelation mit dem Histogramm des gespeicherten Bildmusters durchgefuhrt wird, der 
Winkelwert des Bildmusters urn 1 oder einen beliebigen anderen Wert erhoht (modulo 360) und dieses neue 
Histogramm mit dem Bild kreuzkorreliert wird. diese Maflnahme 360 mat oder ehtsprechend weniger oft 
wiederhoit wird und das Bild mit der hochsten Obereinstimmung der Kreuzkorrelation ermittelt wird. 
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Verfahren zur Bildauswertung 

Die Erfindung bezieht sich auf ein Verfahren zur Bildauswertung nach dem Oberbegriff des Anspruch 1, 
wie er aus IEEE Transactions on PATTERN Analysis and machineintelligence PAMI-10 1988 p61 0-625 
bekannt ist. 

Auf dem Gebiet des "Maschinensehens" gibt es zahlreiche Verfahren zur Berechnung struktureller 
5 Merkmale wie Kanten, Ecken und Flachen aus Grauwertbildern, die z.B. uber Produktionsregein mit 
bekannten Testmustern verglichen werden konnen. Daneben gibt es statistische Verfahren. die sich 
insbesondere be! der Textur- und Schriftzeichenerkennung bewahrt haben. Weit verbreitet 1st die Korrela- 
tionsmethode fur den Bildvergleich. wobei meistens eine zweidimensionaie Korrelation der Grauwerte von 
zwei Bildern durchgefuhrt wird. Der Nachteil der geschilderten Methoden ist, da/3 entweder der Aufwand bei 
70 der Anwendung auf beliebige naturliche Slider zu gro/3 ist Oder die oben geschilderten Invarianzeigenschaf- 
ten nicht vorhanden sind. 

Mittels des o.a. bekannten Verfahrens Ist jedoch eine Analyse von Bildern nur beschrankt moglich. 
insbesondere sind einzeine zu erkennende Objekte im Bild, z.B. Texturunterscheidungen in Textilmustern. 
Fehier in bearbeiteten Oberflachen, fahrende Fahrzeuge in Videoaufzeichnungen, nIcht zu ernnitteln. 

75 Aufgabe der Erfindung ist es, das bekannte Verfahren dahingehend zu verbessern, dafi Testmuster in 
auszuwertenden Bildern erkannt werden, wobei die Unngebung der Testmuster zu keiner Verschlechterung 
der Ergebnisse fuhren soil. 

Diese Aufgabe wird durch das Verfahren nach Anspruch 1 gelost. vorteilhafte Ausgestaltungen sind in 
den Unteranspruchen gekennzeichnet. 

20 Das erfindungsgema/Je Verfahren baut auf dem o.a. Verfahren auf; dabei werden Bilddaten durch 
Anwendung eines speziellen Gradientenoperators auf beliebige Grauwertbilder erzeugt. Man erhalt ein Bild, 
in welchem fur jeden Bildpunkt der Betrag und die Richtung des Grauwertgradienten mit jeweils 8 bit 
Auflosung vorliegen. Die Gradientenrichtung ist invariant gegenuber Addition und Multiplikation der Bildfunk- 
tion mit Konstanten. Kontrastumkehr bedeutet Addition von 180 Grad zu jedem Richtungswert. 

25 Fur den Bildvergleich wird zunachst das Histogramm der Gradientenrichtungen in einem interessieren- 
den Bildfenster gebildet, wobei auf die Gesamtzahl der verwendeten Biidpunkte in diesem Fenster normiert 
wird. Man erhalt eine eindimensionale Funktion: Haufigkeit von Winkelwerten in Prozent vs. Wihkelwert. Zur 
Reduktion von Rauschen wird das Histogramm durch Faltung mit einer eindimensionalen Gau/3funktion 
geglattet. Die Standardabweichung wird interaktiv eingelesen. 

30 Danach wird der Vergleich mit anderen Bildfenstern durch Kreuzkorrelation der eindimensionalen 
Histogramme durchgefuhrt. Nach jeder Korrelation werden die Winkelwerte auf der Abzisse des Referenzhi- 
stogramms jeweils urn 1 =2* (oder einen beliebigen Wert modulo 360) erhoht und mit diesem 
Histogramm erneut eine Kreuzkorrelation durchgefuhrt und das 180 mal. Mit Hiife dieses wichtigen Schrittes 
werden mogliche Drehungen des Vergleichs - gegen das Referenzmuster quantitativ erfaBt durch Bestim- 

35 mung des maximalen Kreuzkorrelationskoefftzienten in Abhangigkeit vom Drehwinkel. Hierdurch wird auch 
Invarianz gegenuber Kontrastumkehr erreicht (s.o.). Durch Normierung auf die Gesamtzahl der berucksich- 
tigten Biidpunkte - die Haufigkeit bestimmten Richtungen wird in Prozent angegeben - wird eine Gro/Jenln- 
varianz erreicht. 

Bei der Suche in Bildern durch einstellbare Verschiebung von Bildfenstern, deren Histogramme mit der 
40 Referenz kreuzkorreliert werden, wird fur jede Fensterposition der Kreuzkorrelationskoeffizient berechnet. 
Anschlie/Jend wird vorzugsweise das Bildfenster mit dem gro/3ten Zahlenwert (obefhalb einer einstellbaren 
Schwelle) ausgewertet oder auch benachbarte mit ahnlichen Werten. 

Das geschilderte Verfahren hat folgende Vorteile gegenuber bestehenden technischen Verfahren: 

1. Es werden nicht zweidimensionaie, sondern eindimensionale Funktionen (Histogramme) korreliert, 
45 die sich leicht berechnen lassen und deren Wertebereich unabhangig von der Gro/3e der verwendeten 

Bilder ist, Dadurch ergibt sich eine erhebliche Aufwandsreduktion. welche technische Anwendungen In 
Echtzelt mit Hilfe heute verfugbarer elektronischer Bausteine ermoglicht. 

2. Dadurch. da/3 nicht (wie belm Bildvergleich ubiich) Grauwerte sondern die geglatteten Haufigkeiten 
von Winkelwerten korreliert werden, ergeben sich Invarianzen gegenuber Drehungen, GroBen- und Kontra- 

50 standerungen. Dadurch erhalt man ein robustes Detektionsverfahren, bei welchem auch der Einfiu/3 der 
Umgebung der zu detektierenden Objekte bisher zu keiner nennenswerten Verschlechterung der Ergebnis- 
se gefuhrt hat. 

Im folgenden wird das bekannte Verfahren zum besseren Verstandnis der Erfindung anhahd der Abb. 1 
erlautert. Die Erfindung wird dann anhand der Abb. 2 dargestellt. 

In der o.a. Literaturstelle wird ausfuhrllch auf die Problematik der Beschreibung von Grauwertanderun- 
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gen mit Hilfe von Gradientenfiltern variabler GroCe eingegangen. Es wurde eine RIterbank vorgeschlagen, 
in welcher Ciber ein Auswahlkriterium automatisch die jeweils beste Maskengro/3e bestimmt werden kann. 
Aus Aufwandsgrunden sollte man sich jedoch auf wenige Maskengro/5en beschranken. welche mit Hilfe von 
a priori Wissen bez. der zu bearbeitenden Szene festgelegt werden konnen. Der Grundgedanke fur das im 

5 folgenden beschriebene Verfahren besteht darin. durch eine relativ grofle Filtermaske Bildrauschen und 
Texturen soweit zu eliminieren. dafl zusammenhangende Fiachen mit moglichst homogenen Gradienten- 
richtungen entstehen. Diese Fiachen sollten wesentlich grosser sein als der verwendete Faitungskern. 
Ortlicli sich langsam anderne Grauwertverlaufe werden aufgrund ihrer niedrigen Ortsfrequenz kaum beein- 
flu/3t und lassen sich in dem bandpaflgefilterten Bild relativ einfach durch die einheitiiche Gradienteneinrich- 

70 tung innerhalb des ansteigenden bzw. abfallenden Bereiches der Grauwertflache detektieren. Schatten und 
Schattierungen fuhren zu einem signifikanten Maximum im Histogramm der Gradientenrichtungen. Dieses 
Maximum kann in Verbindung mit einem gewissen Toleranzbereich dazu benutzt werden, zusammenhan- 
gende Fiachen im Bildbereich zu gewinnen und als mogliche Schatten- Oder Schattierungsbereiche zu 
charakterisieren. 

76 Zur Gradientenberechnung bet den in Abb. 1 gezeigten Beispielen wurden 11x13 Masken verwendet, 
das entspricht einer Standardabweichung von a = 2.0 fur das Gradientenfilter (normierte Ableitung einer 
Gau/3funktion). 

Bei dieser Maskengro/3e wird das Digitaitsierungsrauschen stark vermindert. Die Maske dient zusatzlich 
zur Reduktion storender Texturen innerhalb von Schatten-ZSchattierungsbereichen. wobei die Gro/3e der 
20 Abschwachung von den betreffenden Ortsfrequenzen abhangt. 

Den weiteren Uberlegungen wird die Haufigkeitsverteilung von Winkelwerten in verschiedenen Bildfen- 
stern zugrundegelegt, deren Grade und Position einstellbar ist. Fur Schatten und Schattierungen wird eine 
Vorzugsrichtung der Gradientenrichtung in einem Bildbereich erwartet, der deutlich grdfler a\s der Faitungs- 
kern sein sollte. 

25 Fur das Beispiel des PKW In Abb. 1a veranschaulichen Abb. 1b und c) die bescfiriebene Vorgehens- 
weise. In b) sind die helligkeitskodierten Gradientenrichtungen (stehe Beschreibung weiter unten) darge- 
stellt- Die Konvention fur den Gradientenwinkei geht aus Abb. Id hervor. Die Gradientenrichtung ist so 
festgelegt, da/3 der Vektor stets von dunkel nach hell zeigt, wobei der Winkel im Uhrzeigersinn zunimmt. 
In Abb. Ic ist zusatzlich die Ma/Jnahme b) des Anspruchs 1 biidlich dargestelit. 

30 Die Auswertung des Histogramms fur den markierten Biidausschnitt in b) ergibt, da/3 . 95 % der 
Bildpunkte Winkelwerte im Bereich 88 ± 16 Grad haben. Diese Winkelwerte sind in c) wei/3 dargestelit. Als 
grd/3ter zusammenhangender Bereich ergibt sich der Schatten vor dem PKW. Wie aufgrund der Beleuch- 
tungsbedingungen zu erwarten war, ergeben sich zusatziiche Bereiche, z.B. auf der Kuhleroberflache, 
welche Hinweise auf das Vorhandensein langsam veranderiicher Grauwertanderungen liefern. 

35 Im Unterschied zu der bekannten Vorgehensweise werden erfindungsgema/3 nicht signifikante Maxima 
des Winkelhistogramms ausgewertet, sondern das voilstandige Histogramm der Gradientenrichtungen eines 
vorgegebenen Grauwertmusters als Modell oder Referenzmuster verwendet. Die gro/3te Ahnlichkeit mit 
einem solchen Referenzmuster wird durch eine Kreuzkorreiation mit den Winkelhistogrammen anderer 
Grauwertmuster (Vergleichsmuster in einem Suchbild) ermittelt. Zunachst wird das Histogramm der Gra- 

40 dientenrichtungen in einem interessierenden Bildbereich berechnet. Man erhalt eine eindimensionale 
Funktion: Haufigkeit von Winkelwerten vs. Winkel (Grad). Zur Rauschverminderung wird das Histogramm 
durch Faitung mit einer eindimensionalen Gau/Jfunktion, deren Breite einstellbar ist. geglattet. In Abb. 2b ist 
ein seiches geglattetes Histogramm fur die Gradientenrichtungen (a = 1.0) des Kastenwagens in a) 
dargestelit. Die Glattung erfolgte mit einer 1 x 9 Maske (a = 2.0). Die vier Maxima des Histogramms bei 92, 

45 180, 270 und 360 Grad reprasentieren die vertikel und horizontal ortentierten Vorzugsrichtungen des 
Fahrzeugs. 

Drehungen des Vergleichs gegenuber dem Referenzmuster lassen sich sehr einfach dadurch beruck- 
sichtigen, da/3 nach jeder Korrelation die Winkelwerte auf der Abzisse eines der beiden zu korrelierenden 
Histogramme jweils um 1 oder einen beliebigen anderen Wert modulo 360 Grad erhoht werden und mit 
50 diesem Histogramm erneut eine Kreuzkorreiation durchgefCihrt wird. Mit Hilfe dieses Schrittes werden 
mogliche Drehungen der o.g. Muster quantitativ edalit durch Bestimmung des maximalen Wertes des 
Kreuzkorreiationskoeffizienten in Abhangigkeit von der oben durchgefuhrten Translation, welche dem 
. Drehwinkel entspricht. 

Zur Verdeutlichung der beschriebenen Vorgehensweise soil das folgende Beispiel dienen. Abb. 2a ist 
55 ein Ausschnitt aus dem 1. Bild einer Bildserie, in welcher sich der Kastenwagen weg von der Kamera 
bewegt. Das geglattete Histogramm der Gradientenrichtungen von a) ist In Abb. 2b dargestelit. Dieses 
Histogramm wurde als Referenzmuster verwendet. um das Fahrzeug im 300. Bild dieser Bildfolge automa- 
tisch zu lokalisieren. Trotz einer Gro/Jenanderung von 3:1 des Fahrzeugs und einer (kunstlich) durchgefuhr- 
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ten Drehung von 45 Grad. befindet sich der Kastenwagen weitgehend innerhalb des Fensters mit 6em 
groCten Kreuzkorrelationskoeffizienten r = 0.869. Die Mitte dieses 90 Spalten und 150 Zeilen gro/3en 
Vergleichsmusters ist in Abb. 2c durch ein weifles Rechteck markiert. Zusatziich erhalt man das Ergebnis. 
da/3 der hochste Kreuzkorrelationskoeffizient mit dam urn 46 Grad verschobenen Referenzhistogramm 
erzielt wurde. Die ubrigen Rechtecke markieren die Mitten weiterer Vergleichsmuster in diesem 343 Spalten 
X 256 Zeiien gro/Jen Suchbild, In welchem mit einer Scfirittweite von 70 Spalten und 80 Zeilen ein 90 x 150 
Bildfenster zur Erzeugung von 8 (sich uberlappenden) Vergleichsmustem automatisch versciioben wurde. 
Der Kreuzkorrelationskoeffizient r v^ird nach folgender bekannten Vorschrift ermittelt, wobei sich die x-Werte 
auf die Daten des Referenzmusters und die y-Werte auf die Daten des Vergleichsmusters beziehen: 



1. Verfahren zur Bildausweilung von Bildern einer Videokamera oder eines Fernsehbtldes mittels einer 
Auswerteeinrichtung durch Analyse der Richtungen von Grauwertgradienten, wobei gespeicherte Bildmu- 
ster, z.B. Textilmuster oder Fahrzeuge. in dem auszuwertenden Bild ermittelt werden und die Grauwertgra- 
dienten des Bildes normiert werden, 

dadurch gekennzeichnet, 
da/3 

a) das Histogramm der Gradtentenrichtungen gebildet wird, indem die Haufigkeit der Gradientenwin- 
kelwerte in Prozent gegen den Winkelwert, z.B. in einer Tabelle, festgelegt werden, 

b) die Kreuzkorrelation mit dem Histogramm des gespeicherten Bildmusters durchgefuhrt wird. 

. c) der Winkelwert des Bildmusters um 1 oder etnen beliebigen anderen Wert erhoht (modulo 360) 
und dieses neue Histogramm mit dem Bild kreuzkorreliert wird. 

d) Maflnahme d 360 mal oder entsprechend weniger oft wiederholt wird, 

e) das Bild mit der hochsten Ubereinstimmung der Kreuzkorrelation ermittelt wird. 

2. Verfahren nach Anspruch 1. 
dadurch gekennzeichnet, 

da/3 das Histogramm durch Faltung mit einer GauBfunktion geglattet wird. 

3. Verfahren nach Anspruch 2, 
dadurch gekennzeichnet, 

da/3 Faltungskerne von 5x7 oder 11x13 Elemente verwendet werden. 

4. Verfahren nach Anspruch 1 , 
dadurch gekennzeichnet, 

da/3 zusatzlich das Histogramm des Betrages des Grauwertgradienten und/oder des Grauwertes gebildet 
und die Kreuzkorrelation durchgefuhrt wird. 
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«i) Dem 360 Grad Winkelbereich werden 
180 Grauwerte zugeordnet 



Abb. 1 
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c) WeiBes Quadrat: 
max. Korreiation 
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0 Die Erfindung betrifft sin Verfahren zur Bildaus- 
wertung von Bildern einer Videokamera Oder etnes 
Fernsehbildes mittels einer Auswerteeinrichtung 
durch Analyse der Richtungen von G rau we rtgradi en- 
ten, wobei gespeicherte Bildmuster. z.B. Textilnnu- 
ster Oder Fahrzeuge. in dem auszuwertenden Bild 
ermittelt werden, wobei die Grauwertgradienten des 
Bildes normiert werden, das Histogramm der Gra- 
dientenrichtungen gebildet wird, indem die Haufig- 
keit der Gradientenwinkelwerte in Prozent gegen den 
Winkelwert, z.B. in einer Tabelle, festgelegt werden, 
die Kreuzkorrelation nnit dem Histogramm des ge- 
speicherten Bildmusters durchgefuhrt wird, der Win- 
kelwert des Bildmusters um 1 oder einen beliebigen 
anderen Wert erhoht (modulo 360) und dieses neue 
Histogramm mit dem Bild kreuzkorreliert wird, diese 
Ma/Jnahme 360 ma! Oder entsprechend weniger oft 
wiederholt wird und das Bild mit der hochsten Ober- 
einstimmung der Kreuzkorrelation ermittelt wird. 
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